Bản thân Những người khốn khổ có rất nhiều câu chuyện, nhân vật với những cuộc đời khác nhau, nhưng sợi dây nối những mảnh đời riêng biệt này lại là câu chuyện về Jean Valjean, người cựu tù khổ sai, người đang cố gắng sống vì một xã hội tốt đẹp nhưng lại không thể thoát khỏi quá khứ của mình. Sau 19 năm ngồi tù với số tù 24601 vì ăn cắp một mẩu bánh mì cho con của người chị gái, người nông dân Jean Valjean được thả. Tuy nhiên anh phải mang theo giấy thông hành vàng, dấu hiệu cho thấy người mang nó từng phạm tội, vì vậy Jean bị chủ quán trọ từ chối và buộc phải ngủ ngoài đường. May cho anh là Giám mục Myriel, một người nổi tiếng hay làm từ thiện đã cho Jean Valjean một chỗ nương náu. Khi mọi người đã ngủ, Jean lại ăn cắp mấy thứ đồ bạc của Giám mục và chạy trốn, anh bị bắt lại sau đó nhưng lại được ông Myriel cứu thoát khi nói với cảnh sát rằng đó là đồ ông tặng cho Valjean. Khi chia tay vị Giám mục già nói với Jean Valjean rằng anh nhất định phải trở thành một người lương thiện và làm nhiều việc tốt cho mọi người.

Tám năm sau Valjean, nay mang tên ông Madeleine, đã trở thành một chủ xưởng giàu có và là thị trưởng thành phố nhỏ nơi ông sinh sống, Valjean phải mang tên giả để tránh sự phát hiện của thanh tra Javert vẫn đang truy tìm ông ráo riết. Tuy nhiên số phận buộc Valjean phải để lộ danh tính của mình khi một người đàn ông khác bị nhầm là Jean Valjean và bị bắt đưa ra tòa. Cùng lúc này, Valjean gặp Fantine, một cô gái đang hấp hối sau khi bị đuổi việc khỏi công xưởng của ông và buộc phải làm nghề mại dâm để có tiền nuôi con gái Cosette, em đang phải sống với gia đình nhà Thénardier độc ác. Trước khi Fantine chết, Valjean hứa với cô sẽ chăm sóc Cosette cẩn thận, ông trả tiền cho lão chủ quán trọ Thénardier để giải phóng cho Cosette và cùng em chạy trốn lên Paris khỏi sự truy đuổi của Javert. Ở Paris, hai người trú trong một nhà tu kín mà Javert không được quyền khám xét, vì vậy họ tạm thoát khỏi sự truy lùng gắt gao của viên thanh tra.

Chín năm sau sau cái chết của tướng Lamarque, người duy nhất trong giới lãnh đạo Pháp có cảm tình với giai cấp lao động, nhóm sinh viên đứng đầu là Enjolras tức giận với chế độ đã chuẩn bị cho một cuộc cách mạng vào đêm ngày mùng 5, rạng sáng mùng 6 tháng 6 năm 1832. Cuộc cách mạng cũng có sự tham gia của những người nghèo khổ, trong đó có cậu bé lang thang Gavroche. Một trong những người tham gia cách mạng là Marius Pontmercy, một sinh viên bị gia đình xa lánh vì quan điểm tự do của mình, anh đã đem lòng yêu Cosette, bây giờ đã trở thành một thiếu nữ hết sức xinh đẹp. Gia đình nhà Thénardier cũng đã chuyển tới Paris, trở thành những kẻ lang thang trộm cắp, sau khi thỏa thuận với Javert về việc giao nộp Vanjean cho hắn, bọn họ đã tìm cách đột nhập nhà của Valjean trong khi Marius đang đến thăm Cosette. Tuy nhiên con gái của Thénardier là Éponine cũng đã đem lòng yêu người sinh viên và cô đã thuyết phục bọn chúng rời khỏi đó.

Ngày hôm sau cuộc cách mạng nổ ra, những sinh viên bắt đầu dựng chiến lũy trên những con phố hẹp ở Paris. Javert đã trà trộn vào hàng ngũ sinh viên nhưng bị Gavroche phát hiện và Enjolras đã bắt giữ hắn. Khi biết người yêu của Cosette cũng tham gia nổi dậy, Valjean đã gia nhập với họ, bởi vì ông muốn bảo vệ Marius. Ông đã xin Enjolras thả Javert. Éponine cũng đứng vào hàng ngũ khởi nghĩa để bảo vệ Marius và cô đã chết hạnh phúc trên tay Marius sau khi hứng một viên đạn thay anh. Trong trận chiến tiếp theo, Valjean cứu sống Javert khỏi tay những người sinh viên và để viên thanh tra đi. Ông cũng cứu được Marius khi đó đã bị thương, nhưng tất cả những người khác, kể cả Enjolras và Gavroche đều đã bị giết. Valjean vác theo Marius chạy trốn theo những đường cống ngầm ở Paris, khi ra đến miệng cống ông chạm trán Javert, ông cố gắng thuyết phục Javert cho mình thời gian để trả Marius về gia đình của anh. Javert đồng ý đề nghị của Jean và nhận ra rằng ông ta đang bị kẹt giữa niềm tin vào luật pháp và niềm tin vào lòng tốt của con người mà Valjean đã cho viên thanh tra thấy, Javert cũng hiểu rằng ông không bao giờ có thể nộp Valjean cho chính quyền được nữa. Không thể chịu đựng nổi tình trạng khó xử này, Javert nhảy xuống sông Seine tự vẫn.

Marius và Cosette cưới nhau. Trước lễ cưới, Valjean đã kể hết cho Marius về quá khứ của mình. Ông quyết định bỏ đi mà không hề cho Cosette hay biết. Trong lễ cưới, vợ chồng Thénardier cải trang và trà trộn thành những người quý tộc để trộm cắp. Tuy nhiên, bọn chúng bị Marius phát hiện và yêu cầu rời khỏi lễ cưới. Gia đình Thénardier vô tình tiết lộ về việc Valjean đang "ở ẩn" trong một thánh đường và yêu cầu Marius phải cho chúng một khoản tiền nếu muốn việc này không đến tai cảnh sát. Mãi sau đó khi Valjean đã hấp hối, Marius mới nhận ra được lòng tốt của ông và chạy đến nhà Valjean cùng Cosette. Valjean chỉ còn kịp tiết lộ cho hai người về quá khứ của mình và rằng ông chỉ là người cha nuôi của Cosette trong giờ phút cuối cùng của cuộc đời. Ông cũng đã có niềm hạnh phúc khi ở bên là đứa con gái nuôi yêu quý và con rể. Ông nói với họ rằng ông rất yêu quý họ, sau đó Valjean qua đời.